Entailment loss

Hyperbolic Entailment Cones for Learning Hierarchical Embeddingsで提案

Inferring Concept Hierarchies from Text Corpora via Hyperbolic Embeddingsでも利用れている

以下の形式で表現が可能とKaran Desaiらは主張

ローレンツ空間上

entailment coneの外に対応する埋め込み$ \bm{y}が存在する場合、ペナルティを与えたい

https://scrapbox.io/files/6544ebb3b7dd1e001b920f43.png

テキスト埋め込み$ \bm{x}によって射影される仮想的な円錐の内部に画像埋め込みを押し込むための損失

外角と円錐の半開口角の差として実装される。

https://scrapbox.io/files/6544ed0bf157c80021579b47.png

引用元：https://www.researchgate.net/figure/Hyperbolic-cone-C-on-the-hyperboloid-H-and-its-image-K-in-the-ball-B_fig1_236202781

空間の曲がり具合（曲率）が決まると、ある点からのconeが決定できる

Octavian-Eugen Ganeaらによる主張と組み合わせて、以下に定式化

半開口角

$ c>0で、双曲空間の曲率は$ -cであることに注意

ポワンカレ球上の点$ \bm{x}_bに対し、コーンの半開口角は以下のように定義される。

定数$ K=0.1は、原点付近の境界条件に用いられる。

$ \text{aper}_b(\bm{x_b})=\sin^{-1}\left(K\frac{1-c\|\bm{x}_b\|^2}{\sqrt{c}\|\bm{x}_b\|}\right)

ポワンカレ球モデルとローレンツモデルは互いにisometric（同じ長さ、だって同じ双曲空間の表現だから。しかも、同じ方向のはず）なので、以下のような形で$ \bm{x}_hにマッピングが可能

$ \bm{x}_h=\frac{2\bm{x}_b}{1-c\|\bm{x}_b\|^2}

ポワンカレ球とローレンツモデルでconeは不変であるから、$ \text{aper}_b(\bm{x_b})=\text{aper}_h(\bm{x_h})としてよく、この式を$ \text{aper}_b(\bm{x_b})の式に代入して得られる。

$ \text{aper}_h(\bm{x_h})=\sin^{-1}(\frac{2K}{\sqrt{c}\|\bm{x}_h\|})

外角

原点-テキスト-画像の外角$ \text{ext}(\bm{x},\bm{y})は、以下の形で定式化できる

$ \text{ext}(\bm{x},\bm{y})=\cos^{-1}\left(\frac{y_{\text{time}}+x_\text{time}c\lang\bm{x},\bm{y}\rang_\mathcal{L}}{\|\bm{x}_\text{space}\|\sqrt{(c\lang\bm{x},\bm{y}\rang)^2-1}}\right)

これら3つのペアの点を結ぶ測地線によって形成される閉じた形が超幾何三角形と呼ばれ、ユークリッド平面と同様に三角形の角度について議論することができる。

Leeらによれば、一般に、ローレンツ距離として$ x=d(\bm{O},\bm{y}), $ y=d(\bm{O},\bm{x}), z=d(\bm{x},\bm{y})とおくと、、外角は次のように定義できる。

$ \text{ext}(\bm{x},\bm{y})=\pi-\angle\bm{O}\bm{x}\bm{y}=\pi-\cos^{-1}\lbrack\frac{}{}\rbrack

ここで、外角の定理が使用可能である。なぜなら、その定義は絶対幾何学の定義であり、双曲幾何学（hyperbolic geometryにおいても有効であるからである。）

なお、角の大きさ（上記の式の$ \angle\bm{O}\bm{x}\bm{y}）については、双曲空間で成立する余弦定理から、導出が可能である。